PyTorch Howsam

Audio

شرکت Etched با توسعه نخستین چیپ ASIC مخصوص معماری «ترنسفورمر» توانسته سریع‌ترین سخت‌افزار جهان را برای اجرای این نوع مدل‌ها بسازد.

این چیپ که «Sohu» نام دارد، با هدف اجرای مدل‌هایی مثل LLaMA 70B طراحی شده و ادعا می‌شود که قادر است با نرخ بیش از ۵۰۰٬۰۰۰ توکن بر ثانیه عمل کند، سرعتی که به گفته آن‌ها بسیار فراتر از توان B200 یا H100 انویدیا است! 🤯

منابع: 1 | 2

www.tg-me.com/no/PyTorch Howsam/com.pytorch_howsam/700

1.5K viewsJun 28 at 15:29

شرکت Etched با توسعه نخستین چیپ ASIC مخصوص معماری «ترنسفورمر» توانسته سریع‌ترین سخت‌افزار جهان را برای اجرای این نوع مدل‌ها بسازد.

این چیپ که «Sohu» نام دارد، با هدف اجرای مدل‌هایی مثل LLaMA 70B طراحی شده و ادعا می‌شود که قادر است با نرخ بیش از ۵۰۰٬۰۰۰ توکن بر ثانیه عمل کند، سرعتی که به گفته آن‌ها بسیار فراتر از توان B200 یا H100 انویدیا است! 🤯

منابع: 1 | 2

BY PyTorch Howsam